PixelEyes: Decoupling Perception and Reasoning for Pinpoint Visual Evidence Seeking
PixelEyes：解耦感知与推理的精准视觉证据搜索
🧭 解耦感知与推理的视觉Agent
Wuhan University · UC Merced · UTS · NUS · NTU
提出解耦式视觉Agent：推理器决定找什么，专用分割工具给出掩码级定位，配合语义区域BFS消灭冗余路径。
📌 工作参考价值（4 点）
- 解耦架构可直接迁移到电商Agent：用LLM做高层推理决策（如“找 logo 在衣服的哪个部位”），调用专精的视觉基础模型（如商品分割模型）给出像素级定位，避免LLM直接输出 bbox 不准导致的多轮无效追问。
- 语义区域 BFS 策略用于多轮商品对比：对商品详情图进行语义分割（如领口、袖口、印花区域），按区域广度优先提问，可系统性地收集细粒度属性，替代当前对话式推荐中随机或深度优先的循环。
- 合成专家轨迹数据集的方法：将高效搜索策略（如 BFS + 掩码引导）内化到模型训练中，可借鉴用于训练对话式推荐或客服 Agent，让模型学会用最短轮次完成信息收集。
- Pinpoint-Bench 的细粒度失败分析框架：分离定位错误与推理错误，有助于诊断业务中多模态 Agent 的“注意盲视”（看到区域但识别错），可用于离线评估和迭代优化。